Völler memulakan kerjayanya bersama kelab 1860 Hanau sebelum beliau menyertai kelab Bundesliga, Werder Bremen pada tahun 1982. Pada tahun yang sama, beliau melakukan penampilan sulungnya untuk pasukan kebangsaan Jerman Barat. Selepas menempuhi musim yang cemerlang apabila beliau dinobatkan sebagai penjaring terbanyak Bundesliga, kelab-kelab luar mula melahirkan minat terhadap penyerang tersebut. Beliau berpindah ke Roma pada tahun 1987 dan menjadi tulang belakang utama pasukan sehinggakan memperoleh nama samaran, "er tedesco" ("the German") dan juga "il tedesco volante" ("the flying German").[1] Sepanjang tempohnya di Roma, beliau hanya merangkul trofi Coppa Italia pada tahun 1991 dan menjadi penjaring terbanyak kelab buat beberapa musim.

Pada tahun 1992, Roma membuat keputusan untuk menjual Völler ke Marseille apabila kelab Perancis itu mahu menempatkan pengganti tonggak utama mereka, Jean-Pierre Papin. Pada musim pertamanya di Marseille, Völler dapat menjulang trofi Liga Juara-Juara pertama dalam kariernya apabila pasukan Perancis itu menewaskan Milan pada perlawanan akhir pada tahun 1993. Seterusnya, dalam saingan domestik, Marseille didapati bersalah kerana terlibat dalam rasuah lalu ditarik balik gelaran juara liga 1993 dan terpaksa disingkirkan serta merta biarpun menamatkan musim di tempat kedua pada tahun 1994. Völler yang menjaringkan 24 gol untuk Marseille terpaksa berangkat selepas penyingkiran tidak diduga. Beliau seterusnya mengambil langkah kembali ke Jerman untuk sertai Bayer Leverkusen pada tahun 1994 sebelum menamatkan kariernya sebagai pemain pada tahun 1996.